정보과학회 논문지 B : 소프트웨어 및 응용
Current Result Document :
| 한글제목(Korean Title) |
[2012년도 학생논문 경진대회 수상작] 버로우즈-휠러 변환과 다단계 정렬을 이용한 고속 한글 문서 탐색 기법 |
| 영문제목(English Title) |
A Fast Search Method of Korean Documents Using Burrows-Wheeler Transform and Multi-Level Alignment |
| 저자(Author) |
박선영
조환규
Sun-Young Park
Hwan-Gue Cho
|
| 원문수록처(Citation) |
VOL 39 NO. 11 PP. 0912 ~ 0926 (2012. 11) |
한글내용
(Korean Abstract) |
표절이 심각한 사회적 문제로 부각되면서 표절 탐색에 대한 연구가 활발하게 진행되고 있다. 하지만 표절 탐색 시스템들은 표절의 검사와 문서의 수집에 대해서만 관심을 가질 뿐, 원문을 보호하는 측면은 고려하지 않는다. 저자들은 보통 자신의 저작물이 표절 탐색을 위해 무단으로 수집되는 것을 원하지 않기 때문에 표절 검사 문제와 이를 위한 데이터 수집 문제는 서로 상충할 수 밖에 없다. 따라서 본 논문에서는 원문을 보호함과 동시에 빠른 유사도 탐색을 수행하는 방법을 제안하고자 한다. 이 시스템은 색인을 위한 접미사 배열을 생성하고 저장하기 위하여 버로우즈-휠러 변환(Burrows-Wheeler Transform, BWT)을 사용하며, 유사 영역을 사용자 선택적으로 찾기 위하여 다단계 정렬(Multi-Level Alignment, MLA)이라는 방법을 활용한다. 또한 원문을 보호하기 위하여 손실 압축의 일종인 한글 스킨 추출을 사용한다. 실험 결과 제안한 모델을 통해 원문을 매우 효과적으로 보호하면서, 20자 이상의 검색어에 대해서는 매우 정확하게 검색을 수행함을 알 수 있었다. 또한 다단계 정렬을 통해 사용자가 속도와 검색 민감도를 적절히 조절하면서 유사 영역을 탐색할 수 있었다.
|
영문내용
(English Abstract) |
Recent rapid rise in plagiarism has become a serious social issue and has prompted increasing research on copy detection. Unfortunately, current plagiarism detection systems are concerned with detecting and collecting documents but failed to protect the original documents. Since authors usually do not want their work to be collected for plagiarism inspection without their permission, plagiarism detection and source document protection are in conflict with each other. We present a new method that provides both protection of original texts and performing fast document similarity searches. Our system uses Burrows-Wheeler Transform (BWT) to create and store suffix arrays, and Multi-Level Alignment (MLA) to search similar regions with various user-defined precision settings. It also uses a lossy compression method so-called Korean Skin Extraction to protect the original sources. By experimental evaluation, we demonstrate that our proposed system effectively protects original texts as well as performs precise and fast searches with text queries longer than 20 letters. We also show that the proposed system can adjust trade-off between the inspection time and precision by user-defined settings with MLA.
|
| 키워드(Keyword) |
원문 보호
유사도
검색
스킨 추출
버로우즈-휠러 변환
다단계 정렬
Original Text Protection
Similarity
Search
Skin Extraction
Burrows-Wheeler
Transformation (BWT)
Multi Level Alignment
|
| 파일첨부 |
PDF 다운로드
|
